Ehud Brog gia nhập Các lực lượng Phòng vệ Israel (IDF) năm 1959. Ở thời điểm này ông quyết định đổi tên mình thành "Barak", có nghĩa "ánh chớp" hay "toả sáng" trong tiếng Hebrew. Ông phục vụ trong IDF trong 35 năm, lên tới chức Tham mưu trưởng và cấp bậc Rav Aluf, cấp cao nhất trong quân đội Israel. Trong cuộc Chiến tranh Yom Kippur, Barak chỉ huy một trung đoàn mới được thành lập gồm những chiếc xe tăng và những thứ khác, giúp giải cứu tiểu đoàn dù 890 dưới sự chỉ huy của Yitzhak Mordechai người đang phải chịu thiệt hại nặng nề trong Trận Nông trang Trung Quốc.

Trong thời gian ông phục vụ như một lính commando trong lực lượng tinh nhuệ Sayeret Matkal, Barak đã chỉ huy nhiều chiến dịch rất thành công, như: "Chiến dịch Isotope", phi vụ giải cứu các con tin trên Chuyến bay 572 Sabena tại Sân bay Lod năm 1972; Phi vụ mật Chiến dịch Spring of Youth năm 1973 tại Beirut, trong đó ông đóng giả một phụ nữ để ám sát các thành viên của Tổ chức Giải phóng Palestine; Barak cũng là một kiến trúc sư chính của Chiến dịch Entebbe tháng 6 năm 1976, một phi vụ khác để giải cứu các con tin của chiếc máy bay Air France bị những kẻ khủng bố bắt giữ và buộc phải hạ cánh xuống Sân bay Entebbe ở Uganda. Những chiến dịch thành công lớn này, cùng với Chiến dịch Bayonet đã dẫn tới sự giải tán nhóm khủng bố Palestine Tháng 9 Đen. Có tin cho rằng Barak cũng là người vạch kế hoạch và chỉ huy cuộc Đột kích Tunis ngày 16 tháng 4 năm 1988, trong đó lãnh đạo PLO Abu Jihad đã bị ám sát.[1]

Sau này ông làm lãnh đạo Aman, Ban Tình báo Quân đội (1983–1985), lãnh đạo Bộ tư lệnh (1986–1987) và Phó tổng tham mưu trưởng (1987–1991). Ông giữ chức Tham mưu trưởng từ ngày 1 tháng 4 năm 1991 tới ngày 1 tháng 1 năm 1995. Trong thời gian này, ông đưa vào thực hiện Hiệp định Oslo đầu tiên và tham gia vào quá trình đàm phán hướng tới Hiệp ước Hoà bình Israel-Jordan.

Barak đã được trao Medal of Distinguished Service và bốn lần tuyên dương của Tham mưu trưởng (Tzalash HaRamatcal) vì lòng dũng cảm và tài năng. Năm lần được vinh danh này khiến ông trở thành quân nhân được trao thưởng nhiều nhất trong lịch sử Israel (cùng với người bạn thân Nechemiah Cohen).[cần dẫn nguồn] Năm 1993 ông cũng được Hoa Kỳ trao Legion of Merit (Chỉ huy).[2]

Barak cũng là một chuyên gia về krav maga, loại võ thuật chính thức của Các lực lượng Phòng vệ Israel.